Share via

Ausführen von Experimenten mit A/B-Tests

  • Artikel

Sie können Partner Center verwenden, um Remotevariablen zu definieren, die Sie zur Laufzeit aus Ihren Universelle Windows-Plattform-Apps (UWP) abrufen können, und Sie können Variationen dieser Werte mit Ihren Benutzern testen, um die effektivsten Werte für das gewünschte Benutzerverhalten zu ermitteln. Ihre App kann Remotevariablen verwenden, um App-Funktionen zu konfigurieren, z. B. In-App-Käufe, Anmeldungsfluss, Überschriften und Platzierung von Werbung.

Ziel des A/B-Tests sollte sein, eine Variante Ihrer Remotevariablenwerte zu identifizieren, die Ihnen wahrscheinlich bessere Konversionsraten einbringt (z. B. mehr In-App-Käufe), da eine interessantere App-Erfahrung bereitgestellt wird. Nachdem Sie eine erfolgreiche Variation identifiziert haben, können Sie das Experiment sofort beenden und diese Variation für Ihre gesamte Benutzergruppe über Partner Center aktivieren, ohne Ihre App erneut veröffentlichen zu müssen.

Erstellen und Ausführen eines A/B-Tests

Führen Sie zum Erstellen und Ausführen eines A/B-Tests die folgenden Schritte aus:

  1. Erstellen Sie ein Projekt, und definieren Sie Remotevariablen in Partner Center. Dieses Projekt enthält die Variablen und Standardvariablenwerte für Ihre Experimente.
  2. Programmieren Sie Ihre App für Experimente. Verwenden Sie eine API in der Microsoft Store Services SDK, um Remotevariablenwerte aus dem Projekt abzurufen, das Sie in Partner Center erstellt haben, verwenden Sie diese Daten, um das Verhalten des zu testenden Features zu ändern und Ansichtsereignisse und Konvertierungsereignisse an Partner Center zu senden.
  3. Definieren Sie Ihr Experiment in Partner Center . Erstellen Sie ein Experiment in Ihrem Projekt, das die eindeutigen Ziele und Varianten für Ihren A/B-Test definiert.
  4. Führen Sie Ihr Experiment im Partner Center-Ashboard aus, und verwalten Sie es. Aktivieren Sie Ihr Experiment, und verwenden Sie Partner Center, um die Ergebnisse des Experiments zu überprüfen und das Experiment abzuschließen.

Eine exemplarische Vorgehensweise, in der der Prozess vollständig dargestellt wird, finden Sie unter Create and run your first experiment with A/B testing (Erstellen und Ausführen eines ersten Experiments mit A/B-Tests).

Anforderungen

A/B-Tests in Partner Center werden nur für UWP-Apps unterstützt.

Damit Sie Experimente mit A/B-Tests ausführen können, müssen Sie den Entwicklungscomputer einrichten:

  • Führen Sie diese Anweisungen aus, um den Entwicklungscomputer für die UWP-Entwicklung einzurichten.
  • Installieren Sie die Microsoft Store Services SDK. Zusätzlich zur API für Experimente bietet dieses SDK auch APIs für weitere Features wie z. B. das Anzeigen von Werbung und das Weiterleiten von Kunden zum Feedback-Hub, um Feedback zur App zu erfassen.

Bewährte Methoden

Um möglichst aussagekräftige Ergebnisse zu erzielen, sollten Sie beim Durchführen von Experimenten mit A/B-Tests diese Empfehlungen berücksichtigen:

  • Führen Sie Experimente mit nur zwei Varianten mit einer zufälligen 50/50-Aufteilung für Variantenzuweisungen durch.
  • Führen Sie die Experimente mindestens 2 bis 4 Wochen lang durch, um ausreichend Daten zu erfassen, die statistisch signifikant und aussagekräftig sind.

Begriff Definition
Project Eine Auflistung von Remotevariablen mit Standardwerten, auf die Ihre App mithilfe des Microsoft Store Services SDK zugreifen kann. Ein Projekt kann optional auch ein oder mehrere Experimente enthalten, die die gleichen Remotevariablen nutzen.
Experiment Ein Satz von Parametern, die einen A/B-Test definieren, den Ihre Benutzer erhalten. Experimente sind im Umfang eines Projekts definiert. Jedes Experiment besteht aus folgenden Elementen:

  • Ein Anzeigeereignis, das angibt, wann der Benutzer mit dem Anzeigen einer Variante beginnt, die Teil des Experiments ist.
  • Eines oder mehrere Ziele mit Umwandlungsereignissen, um anzugeben, wann ein Ziel erreicht wurde.
  • Eine oder mehrere Varianten, die die im Experiment verwendeten Variablendaten definieren. Die Steuerelement-Variante verwendet die Standardvariablenwerte, die im Projekt für das Experiment definiert sind. Zusätzlich zu der Steuerungsvariation verfügen Experimente in der Regel über mindestens eine zusätzliche Variante mit Variablenwerten, die speziell für das Experiment gelten.
Projekt-ID Eine eindeutige ID, die Ihre App einem Projekt in Ihrem Partner Center-Konto ordnet. Sie müssen diese ID verwenden, um eine Verbindung mit dem A/B-Testdienst in Ihrem App-Code herzustellen, um Variationsdaten zu empfangen und Berichtsansichts- und Konvertierungsereignisse an Partner Center zu erhalten. Weitere Informationen finden Sie unter Programmieren Ihrer App für Experimente.

Jedes Projekt und alle Experimente im Projekt sind genau einer Projekt-ID zugeordnet. Sie können Projekt-IDs verwenden, um zwischen verschiedenen Gruppen von Experimenten zu unterscheiden. Beispielsweise haben Sie möglicherweise einen Satz von Experimenten, den Sie für Tester in Ihrer Organisation freigeben, und einen anderen Satz von Experimenten, den Sie nur für externe Benutzer Ihrer App freigeben. Eine App kann auf mehrere Projekt-IDs verweisen, wenn sie mehrere Experimente implementiert.
Variation Eine Sammlung von einer oder mehreren Variablen, die Sie in Ihrem Experiment testen. Jedes Experiment muss mindestens eine Variable und zwei Varianten umfassen (einschließlich des Steuerelements). Ein Experiment kann bis zu fünf Varianten aufweisen.
Variable Ein Wert, den Ihre App verwendet, um eine Eigenschaft oder einen anderen Wert in Ihrer App zu initialisieren. Während eines Experiments ändert sich der Wert der Variable von Variante zu Variante. Nachdem Sie das Experiment beendet haben, wird die Variable dem Wert der Variante zugewiesen, die Sie für die Freigabe für alle Benutzer Ihrer App auswählen. Variablen können die folgenden Typen aufweisen: eine Zeichenfolge, Boolean, Double und ganze Zahl.
Anzeigeereignis Eine beliebige Zeichenfolge, die eine Aktivität darstellt, wenn der Benutzer beginnt, eine Variante anzuzeigen, die Teil Ihres Experiments ist. In der Regel ist dies der Name eines Ereignisses in Ihrem Code. Ihr App-Code sendet diese Ansichtsereigniszeichenfolge an Partner Center, wenn der Benutzer mit der Anzeige einer Variation beginnt. Weitere Informationen finden Sie unter Programmieren Ihrer App für Experimente.
Umwandlungsereignis Eine beliebige Zeichenfolge, die eine Zielsetzung für das Ziel eines Experiments darstellt. In der Regel ist dies der Name eines Ereignisses in Ihrem Code. Ihr App-Code sendet diese Konvertierungsereigniszeichenfolge an Partner Center, wenn der Benutzer ein Ziel erreicht. Weitere Informationen finden Sie unter Programmieren Ihrer App für Experimente.